Аннотация результатов, полученных в 2016 году
За отчётный год выполнения проекта были решены все поставленные в плане задачи и достигнуты все планируемые результаты. 1. Разработан эффективный метод адаптивной фильтрации, позволяющий автоматически распознавать и проводить экспресс-удаление различных помех и шумов, включая глазодвигательные артефакты в многоканальных записях ЭЭГ человека. Проведена адаптация разработанного метода к работе в режиме реального времени. Созданный метод фильтрации был основан на разложении сигнала на базис из 7 – 10 основных компонент преобразования Гильберта–Хуанга, затем автоматическом вейвлет-анализе каждой на предмет наличия помех, удаление всех компонент, содержащих более 80% помех и шумов, и последующем обратном восстановлении сигнала из сохранённого базисного набора. Процедура позволяет учесть все локальные особенности исходных данных, внутреннюю частотно-временную структуру, наличие нежелательных особенностей (шумы, тренды, аномальные выбросы, пропущенные значения и т.д.). Тестовые исследования возможностей созданной методики адаптивной фильтрации были проведены на имеющихся базах экспериментальных данных производителя оборудования «Медиком МТД» и на собственных экспериментальных сигналах как для чисто физиологических проб (покой, закрытые глаза, открытые глаза, движения глаз, активность лицевых мышц, например, глотание, увеличенная кардионагрузка, дыхание различных типов и т.д.), так и для сигналов со стимульной когнитивной нагрузкой. В качестве когнитивной нагрузки были использованы различные типы неоднозначных изображений – как нейтральные (куб Неккера, вращающаяся сфера и т.д.), так и персонифицированные (портрет девушки-старухи, тесты Роршаха и т.д.). Обработка всех имеющихся данных показала высокий уровень стабильности и качества, достигаемые с помощью созданной методики. В частности, показано, что разработанный метод превосходит существующие аналоги, такие как визуальный (или полуавтоматический) способ распознавания артефактов с последующим ручным или автоматизированным удалением обнаруженных помех, методы удаления артефактов на ЭЭГ, основанные на анализе независимых компонентов и др. Рассчитанный вейвлет-коэффициент оценки вносимых искажений в значимый спектральный диапазон не превышает 4.5%. Принципиальным достоинством создаваемой методики является отсутствие привязки к дополнительно регистрируемым данным (ЭОГ, ЭКГ, ЭМГ и т.д.). 2. Создана программа для экспресс-удаления удаления на базе методов адаптивной фильтрации различных помех и шумов, включая глазодвигательные артефакты, в многоканальных записях ЭЭГ человека в режиме реального времени. Разработанный программный продукт адаптирован для работы в реальном времени с ЭЭГ данными, регистрируемыми с помощью оборудования Медиком МТД. Отметим, что данный программный продукт при необходимости допускает расширение для работы с МЭГ данными в стандартных форматах записи NeuroMAG, что было протестировано на данных, специально зарегистрированных в лаборатории МЭГ Центра биомедицинских исследований Мадридского технического университета (Испания). Интерфейс программного обеспечения выполнен на базе лицензионной системы разработки Delphi и адаптирован для удобства использования как для специалистов, обладающих базовым математическим образованием, так и пользователей с медицинским и гуманитарным образованием. Данное требование к разрабатываемым программным продуктам представляется важным для внедрения в реальные процессы регистрации, обработки и распознавания электроэнцефалографических данных. 3. Предложены две группы подходов к исследованию многоканальных ЭЭГ, основанные на энергетической оценке вейвлетного спектра в традиционно выделяемых частотных диапазонах и скелетонных характеристиках. На базе предложенных вейвлетных подходов проведено исследование экспериментально полученных данных ЭЭГ. Для каждого из регистрируемых каналов данных характеристики рассчитываются независимо, в одноканальном режиме. Затем, для каждого из этих методов возможна оценка многоканальной активности на базе совместного анализа совокупности группы рассчитанных в одноканальном режиме показателей. Наилучший результат даёт оценка волновой динамики каждого из каналов ЭЭГ на основании комбинации двух групп методов исследования. 4. На базе предлагаемых вейвлетных методик создан программный продукт для оптимизированного расчёта разработанных критериев непрерывного вейвлетного преобразования с возможностью тонкой настройки для конкретных целей исследования. Программный продукт позволяет обработчику следующий выбор методов для оценки различных паттернов в одноканальном режиме: (1) оценка энергий сигнала, приходящихся на каждый из классических диапазонов волновой активности; (2) оценка характеристик, на базе вычисления скелетонов, по всему спектру сигнала от 1 до 70 Гц; (3) оценка энергий сигнала на произвольно заданном исследователем спектральном диапазоне; (4) оценка характеристик, на базе вычисления скелетонов, только на произвольно заданном исследователем спектральном диапазоне; (5) совместная оценка различных показателей как по всему частотному диапазону сигнала, так и по произвольно выбранному интервалу. Кроме того, у пользователя есть возможность автоматической обработки данных, когда по всему спектральному набору производится расчёт и совместная оценка всех созданных критериев. После обработки данных ЭЭГ в одноканальном режиме пользователь компьютерной программы может провести многоканальную обработку по различным группам интересующих его каналов регистрации сигналов ЭЭГ. 5. Создана и наполнена обширная база экспериментально полученных данных ЭЭГ в покое, при активной когнитивной деятельности, под действием внешних раздражителей (физиологические пробы) и непосредственно в процессе проводимых экспериментов по предъявлению разных неоднозначных объектов. Данная база экспериментальных данных будет использоваться как в первом, так и в последующих годах выполнения проекта. В рамках когнитивного исследования восприятия неоднозначных объектов были проведены исследования 50 добровольцев (мужчин и женщин в возрасте 20–30 лет). 15 человек были обследованы несколько раз повторно для дальнейших целей изучения процессов адаптации восприятия. Исследования проводились в полном соответствии с Хельсинской декларацией Всемирной медицинской ассоциации «Этические принципы проведения медицинских исследований с участием человека в качестве субъекта». (http://www.psychepravo.ru/law/int/helsinkskaya-deklaraciya.htm). Все эксперименты с участием людей в качестве объектов исследования были одобрены комитетом по этике СГТУ имени Гагарина Ю.А. От всех испытуемых до начала экспериментов было получено письменное информированное согласие на участие в исследовании, последующей обработке результатов и представлению результатов обработки и исследований в научной печати. 6. Проведена расстановка маркеров по осцилляторным паттернам, выделяемым на анализируемых сигналах ЭЭГ, соответствующих каждому из воспринимаемых образов неоднозначных изображений. Созданы методики автоматической расстановки маркеров на многоканальных данных. В рамках процедуры многоканального анализа были выделены группы каналов, на которых превалирует динамика при восприятии различных типов изображения. В частности, была выявлена следующая активность затылочной области, наблюдаемая при статическом относительно коротком восприятии куба Неккера человеком: при предъявлении куба возникает одновременная генерация дельта- и бета1 (или бета2, в зависимости, от нейрофизиологических особенностей добровольца) волновых активностей, которая при нажатии на кнопку пульта (осуществлении выбора куба левым или правым), сменяется альфа-активностью. Данная динамика нарушается в случае отсутствия мотивации у человека к выполнению эксперимента. 7. Разработана теоретическая модель, описывающая особенности зрительного восприятия неоднозначных изображений, на базе стохастического дифференциального уравнения Фоккера-Планка. Модель хорошо описывает явление когнитивного шума нейронной сети коры головного мозга человека, вызывающего случайный характер восприятия неоднозначного объекта. Показано хорошее качественное и количественное соответствие результатов экспериментального исследования и теоретического моделирования. Хорошее соответствие теоретических и экспериментальных данных является убедительным доказательством адекватности предложенного подхода к моделированию процесса спонтанного распознавания при визуальном восприятии неоднозначных изображений. 8. Проведено экспериментальное и теоретическое изучение перемежаемости в процессе зрительного восприятия неоднозначных изображений. В результате экспериментальных измерений и их обработки были найдены следующие закономерности в перемежающемся восприятии стационарного куба Неккера под воздействием внешних факторов воздействия – различных значений управляющего параметра неидентичности куба Неккера и мерцания различных внутренних граней. В случае мерцающих граней кубов Неккера на частотно-временных поверхностях вейвлет-мощностей, рассчитанных для затылочных каналов ЭЭГ данных, удаётся проследить влияние частот мигания на картину наблюдаемых скелетонов. В ходе выполнения проекта информация о достижениях научного коллектива неоднократно публиковалась на новостной ленте СГТУ: http://www.sstu.ru/news/doktorant-kafedry-aum-prinyala-uchastie-v-mezhdunarodnoy-konferentsii-volga-neuroscience-meeting-201.html?sphrase_id=239561; http://www.sstu.ru/news/sotrudniki-kafedry-aum-i-nots-ndss-opublikovali-rabotu-v-vedushchem-nauchnom-zhurnale-chaos-solitons.html?sphrase_id=239562 и др.

Аннотация результатов, полученных в 2017 году
За отчётный год выполнения проекта были решены все поставленные в плане задачи и достигнуты все планируемые результаты. В ходе выполнения работ по проекту были разработаны дизайны экспериментальных работ (1) по исследованию восприятия куба Неккера для регистрации магнитоэнцефалографии в МЭГ-установке; (2) для уточняющих исследований на базе регистрации ЭЭГ-данных восприятия неоднозначного объекта при воздействии внешних факторов. Получены объёмные результаты проведенных экспериментальных работ – МЭГ и ЭЭГ данных. Общее число добровольцев составило более 100 человек, с которыми в общей сложности проведено более 180 активных экспериментов. Все экспериментальные результаты будут использоваться на протяжении всего периода выполнения проекта. Подробные протоколы позволяют создавать релевантные однотипные массивы экспериментов для последующей обработки. От всех испытуемых до начала экспериментов было получено письменное информированное согласие на участие в исследовании, последующей обработке результатов и представлению результатов обработки и исследований в научной печати. Разработанные в первый год выполнения проекта методы анализа нестационарных ЭЭГ сигналов были адаптированы для обработки МЭГ данных, отличающихся высоким пространственным и частотным разрешением. Создан программный пакет для расчета вейвлетного преобразования с использованием технологии параллельного вычисления NVidia CUDA, позволяющий многократно сократить время обработки каждого сигнала и общее время расчета исследуемых частотно-временных характеристик МЭГ записи. Исследование энергетических характеристик сигналов МЭГ, снимаемых во время восприятия неоднозначных изображений, показало, что степень неоднозначности предъявляемого изображения коррелирует с возникновением паттернов активности головного мозга и определяет распределение энергии в вейвлетных спектрах сигналов, регистрируемых в затылочной области: рост неоднозначности изображения приводит к уменьшению амплитуды колебаний практически во всем исследуемом диапазоне частот. Одновременно, при максимальной неоднозначности изображения время восстановления альфа-ритма в лобных долях минимально. Обнаруженные закономерности будут использованы для разработки автоматических методов классификации состояний мозга при визуальном восприятии. В ходе выполнения проекта проведено исследование функциональных связей, возникающих в нейронной сети головного мозга в процессе восприятия неоднозначных изображений по данным МЭГ. Обнаружено, что в альфа-диапазоне наибольшей связностью характеризуется лобная доля и левая часть затылочной доли, переходящая в височную долю. Такая структура связей слабо меняется при изменении степени неоднозначности изображения. Тем не менее, можно заметить слабое увеличение связности лобных долей при увеличении неоднозначности изображения, что может быть связано с процессами принимаемого решения. В случае бета-диапазона лобная доля также является наиболее связанной компонентой сети, что позволяет сделать вывод о непосредственной связи данного диапазона с принятием решения о выборе пространственной ориентации куба Неккера, что подтверждается анализом динамики на высоких частотах — значения вейвлетной бикогерентности между каналами достигают больших значений только в передней части лобной доли. Анализ связности мозга методом нелинейных корреляций показал хорошее соответствие вышеописанным результатам. Наибольшее количество сильных связей расположено в лобной доле, особенно, ее передней части, тогда как в задней части лобной доли и теменной доле связи отсутствуют. При этом также наблюдается сильно связанный участок на границе затылочной доли и левой височной доли. Выделенные закономерности позволяют судит о хорошем соответствии между использованными методами. Метод, основанный на вейвлетной бикогерентности, представляется более предпочтительным в рамках дальнейших задач за счет возможности анализа связности на различных временных масштабах. Создана и апробирована автоматическая система обработки (программный продукт) наличия/отсутствия волновой активности в различных частотных диапазонах (как традиционных – альфа, бета и т.д., так и сугубо индивидуальных, вызванных личностными особенностями функционирования высшей нервной системы) и соответствующей оценки динамики волновой активности в проекциях различных зон головного мозга. Проведено исследование факторов влияния дополнительных внешних стимулов (аудио-, визуальных, когнитивных и социальных) при восприятии неоднозначного объекта на уровень наблюдаемого когнитивного шума у добровольцев. Введение дополнительной стимуляции снижает уровень когнитивного шума, по всей видимости, нагружая мозговые нейрофизиологические системы обработки информации дополнительными задачами. На основе разработанной в рамках проекта автоматизированной системы диагностики психофизиологического состояния исследовано влияние дополнительных внешних стимулов (аудио-, визуальных, когнитивных и социальных) при восприятии неоднозначного объекта на волновую динамику головного мозга человека. Произведено сравнение высоко- и низкочастотной активности различных фаз эксперимента при наличии дополнительного стимулирования с периодом восприятия куба Неккера без дополнительных воздействий. В целом, оценка затылочных каналов по соотношению высоко- и низкочастотной активности практически не позволяет различить только фазы свободного восприятия без внешнего воздействия и воздействия лёгкой спокойной музыки. Остальные виды воздействия способствуют росту высокочастотной и снижению низкочастотной динамики. При выполнении проекта был разработан интерфейс мозг-компьютер для оценки степени сконцентрированности испытуемого на последовательно предъявляемых визуальных стимулах, функционирующий на основе выявленных возможностях управления процессами восприятия неоднозначных изображений путём изменения параметров изображений. Работа интерфейса основывается на системе регистрации ЭЭГ «Энцефалан» (Медиком МТД, Россия), позволяющей осуществлять регистрацию ЭЭГ с частотой 250 Гц и дополненной специально разработанным программным обеспечением для анализа частотно-временной структуры затылочных ЭЭГ в реальном времени. На основе разработанного интерфейса было показано, что предъявление стимулов с высокой неоднозначностью требует от оператора более высокой концентрации внимания, чем классификация стимулов, близких к однозначным. Было экспериментально показано, что изменение неоднозначности стимулов в соответствии с изменением степени сконцентрированности позволяет увеличить степень концентрации внимания оператора во время сессии. В рамках анализа изменения сигналов электрической активности головного мозга при многократном предъявлении визуального стимула и при возникновении привычки к возникающей ситуации восприятия сложного объекта в течение одного эксперимента и при многократном регулярном повторении экспериментов был измерен отклик мозга испытуемого на предъявляемые визуальные стимулы в течении длинной экспериментальной сессии. Показано, что, исходя из структуры данных участков ЭЭГ, все восприятия неоднозначного объекта можно разделены на два типа – события типа 1 и события типа 2. События типа 1 характеризуются уменьшением энергии альфа-ритма и увеличением энергии бета-ритма во время восприятия стимула, что свидетельствует о ярко-выраженном отклике мозга. События типа 2 характеризуются незначительными изменениями в частотно-временной структуре ЭЭГ. Показано, что число событий типа 1 преобладает у испытуемых, регулярно проходивших подобные эксперименты, по сравнению с испытуемыми, привлекаемыми к эксперименту в первый раз. Для данных групп испытуемых доля событий типа 1 составила в среднем 80% и 60 %, причем для группы 1 данный показатель варьировался на 5 % в пределах группы, в то время как для группы 2 – на 20 %. Полученный результат свидетельствует о тренируемой способности человека к подобному восприятию. Обнаружено, что уровень когнитивного шума остаётся приблизительно на том же уровне при редких повторяющихся экспериментах (раз в неделю) и достоверно растёт при частой экспериментальной работы (рост на 20-30% при сравнении первого и последнего эксперимента в серии).

Аннотация результатов, полученных в 2018 году
Получены следующие научные результаты при детектировании пространственных паттернов активности кортикальной нейронной сети головного мозга при решении когнитивной задачи выбора при предъявлении изображений неоднозначной интерпретации: накоплены экспериментальные данные активности головного мозга при предъявлении неоднозначных изображений различных типов (куб Неккера, бистабильное изображение, мультистабильное изображение). Предложен метод на основе скелетонов непрерывного вейвлетного преобразования для пространственного анализа паттернов активности головного мозг. На основе разработанной методики выявление общих характеристик пространственных паттернов активности кортикальной нейронной сети головного мозга при восприятии неоднозначных изображений различных типов (куб Неккера, бистабильное изображение, мультистабильное изображение). Выполнены работы по созданию системы интеллектуальной классификации различных возможностей восприятия бистабильных объектов на основе искусственных нейронных сетей. Продемонстрирована универсальность паттернов восприятия бистабильных объектов для различных испытуемых. Проведены исследования, позволившие повысить точность распознавания различных проекций воспринимаемого объекта до 98%. Выполнены комплексные работы по регистрации и системации экспериментальных сигналов активности головного мозга в трёх возрастных группах (25 – 35 лет, 40 – 50 лет, 55 – 65 лет) с последующим математическим анализом данных. Были выявлены следующие закономерности (1) общее повышение частоты электрической активности головного мозга в старшей возрастной группе, (2) слабое варьирование уровня когнитивного шума в различных возрастных группах испытуемых, (3) одновременные повышения высокочастотной активности затылочной области головного мозга и скорости отклика испытуемых на бистабильные объекты. Проведены исследования, направленные на выявление основных закономерностей управления процессами восприятия неоднозначных изображений с помощью сознательных действий человека. Разработан нейроинтерфейс, включающий стимульную среду и биологическую обратную связь, позволяющую информировать испытуемого об эффективности функционирования сенсорной системы (зрительной коры) и степени концентрации визуального внимания при восприятии визуальной информации. БОС была реализована двумя способами: i) изменение сложности визуального стимула осуществлялось автоматически в зависимости от текущей степени концентрации визуального внимания, оцениваемой по ЭЭГ; ii) Испытуемый получал информацию о степени концентрации визуального внимания: информирование осуществлялось путем подачи звукового сигнала. Показано, что в случае, когда обратная связь реализована путем информирования испытуемого с использованием звукового сигнала, не происходит увеличения среднего значения амплитуды нейронного отклика. В случае, когда обратная связь реализована путем изменения сложности визуального стимула в зависимости от текущей степени концентрации визуального внимания, наблюдается увеличения среднего значения амплитуды нейронного отклика. Построена теоретическая модель для описания и предсказания волновой пространственной высоко- и низкочастотной динамики регистрируемой электрической активности в затылочной области головного мозга, генерируемой в процессе восприятия неоднозначных изображений. Показано, что в области бета-ритма наблюдается воздействие затылочной области на теменную, что связано с возбуждением зрительного центра на частотах 15-30 Гц. В области альфа-ритма отделы затылочной и теменной областей взаимодействуют более однородно. Разработан и прошел апробацию рабочий прототип интерфейса «мозг–компьютер», позволяющий управлять когнитивными процессами при восприятии неоднозначных изображений, созданный на основе систематическое объединение предложенных в ходе выполнения настоящего проекта методик анализа активности головного мозга. В рамках проведенных экспериментальных работ было установлено, что разработанный нейроинтерфейс-тренажёр позволяет диагностировать у испытуемых проблемы, связанные с концентрацией внимания, позволяет в значительной степени повысить уровень концентрации оператора при восприятии неоднозначных объектов, а также может выступать в роли тренажера в целях повышения способности к произвольной концентрации внимания и общей когнитивной активности.